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Verfahren zur bewegungskompensierenden Pradiktion von 
Bewegtbildern sowie Einrichtung hierzu 

Stand der Technik 

Die Erfindung geht aus von einem Verfahren zur 
bewegungskompensierenden Pradiktion von Bewegtbildern unter 
Verwendung einer Interpolation. 

Standardisierte Verfahren zur Codierujig von. Bewegtbildern 
(H. 263, iyiPEG-2, MPEG-4, etc.) beruhen auf dem Prinzip der 
sogenannten hybriden Codierung [1] . Fig. 1 zeigt das 
Blockschaltbild eines hybriden Video-Encoders mit 
bewegungskoTTipensierender Pradiktion. Dabei wird das aktuell 
zu codierende Bildsignal s(t) mit Hilfe der 

bewegungskompensierenden Pradiktion (motion compensation MC) 
aus dem vorangegangenen , bereits ubertragenen Referenzbild 
s'(t-l) vorhergesagt . Die bewegungskompensierende Pradiktion 
wird mit Hilfe sogenannter blockweiser Bewegungsvektoren 
d(t) durchgef iihrt , die mit Hilfe einer Bewegungsschatzung 
(motion estimation ME) ermittelt werden. Sie geben fiir jeden 
Block der Gr6£e 8x8 bzw. 16 x 16 Bildpunkte des aktuellen 
Bildes die Position des zur Pradiktion benutzten Blockes in 
dem bereits ubertragenen Referenzbild s* (t-1) an. Das 
Resultat der bewegungskompensierenden Pradiktion ist das 
Pradiktionssignal S (t) . Der verbleibende Pradiktionsf ehler 
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e(t) = s(t) - s (t) am Ausgang des Intraframe- Encoders IE 
sowie die Bewegiingsvektoren d(t) werden codiert und 
ubertragen. Zur Gewinnung des Ref erenzbildes s' (t-1) wird 
der intraframe -encodierte Pradiktionsf ehler e(t) wieder 
decodiert (intraframe decoder ID) und zum Pradiktionssignal 
^.(t) addiert. Mit Hilfe eines Bildspeichers wird das 

Referenzbild s'(t-l) bereitsgestellt . Dieses. Ref erenzbild 
s*{t-l) dient sowohl als Eingangs signal zur 

Bewegungskompensation MC als auch zur Bewegungsschatzung ME. 
Die Bewegungsschatzung ME liefert an Hand des aktuellen 
Bildes s(t) und des Ref erenzbildes s' (t-1) einen 
Bewegungsvektor fur jeweils einen Block von Bildpunkten mit 
denen die Bewegungskompensation MC gesteuert wird; d. h. 
Bildpunkte eines Blockes werden an Hand des Bewegungsvektors 
verschoben. 

In den bisher standardisierten Codierverf ahren betragt die 
Amplitudnauf losung der Bewegungsvektoren einen halben 
Bildpunkt. Fur die Schatzung und Kompensation mussen daher 
im Bild s' (t-l) Bildpunkte zwischen dem Abtastraster 
interpoliert werden, was einer Erhohung der Abtastrate um 
den Faktor L=2 entspricht . Zum Beispiel werden im MPEG-4 
Verif ikationsmodell [1] diese Bildpunkte durch eine bilineare 
Interpolationsf ilterung aus den Bildpunkten auf dem 
Abtastraster erzeugt (siehe Fig. 2) . Im folgenden wird das 
aus s» (t-1) interpolierte Bild mit s » u ( t-1 ) bezeichnet . 

Mit der Interpolatiosvorschrif t : 

a=(A+B)//2, b=(A+B+C+D) //4, c= (A+C) //2 

werden zwischen den Abtastwerten "O" interpolierte Werte 
erzeugt. "//" kennzeichnet eine gerundete Ganzzahl- 
Division. 
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Wie in [2] , [3] und [4] beschrieben, wird die Interpolation 
und damit die bewegungskompensierende Pradiktion durch 
unterschiedliches Aliasing im Bildsignal s(t) und 
Pradiktionssignal 5 (t) gestort, so daS eine hohere 
Genauigkeit der Bewegungsvektoren bei Verwendung der 
einfachen bilinearen Interpolation keine weitere 
Verbesserung der Codieref f izienz ermoglicht. Aus diesem 
Grund sind verbesserte Verfahren zur Erzeugung des 
Pradiktionssignals vorgeschlagen worden [2] und [4] . Dabei 
wird das Aliasing-Signal im Pradiktionssignal durch ein N- 
stufiges aliasingreduzierendes "Finite Impulse Response" 
(FIR) Filter reduziert . 

Vorteile der Erfindung 

Mit den MaEnahmen des Anspruchs 1 oder des Anspruchs 4 kann 
das Pradiktionssignal s (t) in einer Beziehung ahnlich dem 
Bildsignal s(tj erzeugt werden inklusive Aliasing korrekt 
prazisiert werden. Es werden dazu fur die Interpolation 
neben den ortlich benachbarten auch zeitlich zuruckliegen.de 
Bildpunkte verwendet , Eine Verringerung des 
Pradiktionsf ehlers und somit eine Steigerung der 
Codieref f izienz ist die Folge . 

Eine hohere Amplitudenauf losung der Bewegungsvektoren von 
bis zu M Oder 1/8 Bildpunkt kann mit den MaSnahmen der 
Erfindung erfolgreich eingesetzt werden und fiihrt zu einer 
weiteren Verbesserung der- Codieref f izienz . Die Abtastrate 
des bereits iibertragenen Ref erenzbildes muS dabei um den 
Faktor L=4 bzw. L=8 in horizontaler und vertikaler Richtung 
erhoht werden . 



Die Erfindung beruht auf folgenden Erkenntnissen : 



Aufgrund nicht idealer Tiefpasse im Auf nahmeprozeS kommt es 
2u Aliasing im digitalen zu codierenden Bildsignal . Das 
Aliasing hat zur Folge, da£ das Bildsignal an Bildpunkten 
zwischen detn Abtastraster durch eine rein ortliche 
Interpolation nicht perfekt rekonstruiert werden kann und 
die bewegungskompensierende Pradiktion das Bildsignal nicht 
korrekt pradizieren kann. Es verbleibt ein 

Pradiktionsf ehler , der in codierter Form libertragen werden 
muS. Die Grofie des Pradiktionsf ehlers bestimmt die 
Ubertragungsrate sowie die Codieref f izienz . 

Neuere Ansatze reduzieren mit Hilfe eines FIR-Filters das 
Aliasing im Pradiktionssignal und verbessern dadurch die 
Codieref f izienz [4] . Da aber das zu codierende Bildsignal 
Aliasing enthalt, sollte das Aliasing im Pradiktionssignal 
nicht reduziert werden, sondern mit dem des Bildsignals s (t) 
ubereinstimmen, um dadurch die GroSe des Pradiktionsf ehler 
weiter zu verringern. 

Der Erfindung liegen folgende Vorausset zungen zu Grunde : 
Wird ein sich nicht bewegendes, analoges Bild an den selben 
Positionen zu verschiedenen Zeitpunkten abgetastet, so sind 
die korrespondierenden Abtastwerte identisch. Dies gilt auch 
fiir den Fall, daS die Abtastf requenz nicht groS genug ist 
und das abgetastete Bildsignal Aliasing enthalt. Bewegt sich 
der Inhalt des das analogen Bildsignals um genau einen 
Bildpunkt, so sind die korrespondierenden Abtastwerte 
ebenfalls identisch und besitzen somit das gleiche Aliasing- 
Signal. Dies zeigt, daS das Aliasing eine Pradiktion eines 
um ganzzahlige Vielfache eines Bildpunktes verschobenen 
Bildinhalts nicht beeinf luSt . Entsprechend bietet sich das 
erf indungsgemaEe Verfahren zur Interpolation von 
Zwischenwerten an, welches vorangegangene , d. h. zeitlich 
zuriickliegende Abtastwerte benutzt, um aktuelle 
Zwischenwerte zu rekonstruieren. Istz. B. bekannt , dafi sich 
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der Bildinhalt von Bild zu Bild um M eines 

Bildpunktabstandes bewegt , so kann ein Abtastwert benutzt 
werden um den zugehorigen um Bildpunktabstand verschobenen 
Bildinhalt im nachsten Bild zu rekonstruieren . Da dieser 
Abtastwert zu einem fruheren Zeitpunkt bereits auf dem 
Abtastraster lag, enthalt er das^ korrekte Bildsignal mit dem 
korrekten Aliasing. 

Basierend auf di-esen Voraussetzungen werden bei der 
Erfindung Abtastwerte aus vorangegangenen, d. h. zeitlich 
zuruckliegenden Bildern benutzt, um aktuelle Zwischenwerte 
zu rekonstruieren. Der Filter kann somit das Bildsignal 
inklusive des Aliasings korrekt pradizieren. Es verringert 
den Pradiktionsfehler und steigert die Codieref f izienz . 

Zeichjiungen 

An Hand der weiteren Zeichnungen werden Ausf uhrungsbeispiele 
der Erfindung naher erlautert . Es zeigen 

Fig. 3 ein Blockschaltbild fiir ein Interpolationsf ilter zur 
Ausfuhrung der Erfindung, 

Fig. 4 das Prinzip der Erhohung der Abtastrate fiir L=2, 

Fig. 5 die Veranschaulichung der Funktionsweise des Merging- 

Moduls, 

Fig. 6 die experimentell ermittelte Rate fiir die 
synthetische Testsequenz Syn Waves, 

Fig. 7 die experimentell ermittelte Rate fiir die Testsequenz 
"mobile & calendar" ... 

Beschreibung von Ausf iihrungsbeispielen 

In Fig. 3 ist das Blockschaltbild eines 

Interpolationsf liters dargestellt mit dem die Erfindung 
ausgefiihrt werden kann. Dabei wurde auf der in Fig. 1 
dargestellten Struktur auf gebaut . Die dort auf gef iihrten 
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Bezeichnungen, beispielsweise s' (t-1) fiir das Ref erenzbild^ 
warden auch nachf olgend verwendet . 

In der Stufe 1 wird die Abtastrate des bereits ubertragenen 
Ref erenzbildes s' (t-1) um den Faktor L erhoht . Das Ergebnis 
der in Fig. . 3 dargestellten Filterung ist das interpolierte 
Bild s-Qi (t-1) . Da zur Filterung gemaB Fig. 3 ein zeitlich, 
rekursives Filter benutzt wird, wird es im folgenden als 
TRI-Filter (time -recursive interpolation filter) bezeichnet . 

Das TRI-Filter besteht aus drei Stufen. Die erste Stufe ist 
der sogenannte Expander 1, Die zweite Stufe umfaSt die 
rekursive Struktur mit der Bewegungskompensation (motion 
compensation) 4 sowie dem Merging-Modul 3 . Die dritte Stufe 
ist eine herkommliche ortliche Interpolation (spatial 
interpolation) 5. Diese drei Stufen werden im folgenden 
naher beschrieben. 

Im ersten Teil, dem Expander 1 wird die Abtastrate des 
Eingangsbildes - Ref erenzbildes - s* (t-1) um den Faktor L 
erhoht. Dies geschieht, indem Zwischenwerte des 
Abtastrasters aus dem Referenzbild s' (t-1) mit Marker-Werten 
m gefullt werden (Fig. 4) . Die Marker-Werte m kennzeichnen 
somit Zwischenwerte, die bisher noch nicht interpoliert 
worden sind. 

Die folgende Gleichung beschreibt den Expander. In dieser 
Gleichung bezeichnen x und y die ortlichen Bildkoordinaten . 




sonst 



In der zweiten Stufe wird das zeitlich zuriickliegende Bild 
s^-^j_(t-2) dazu verwendet, um die im Bild mit erhohter 
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Abtastrate Se(t-l) inarkierten Werte zu ersetzen. Dies 
geschieht mit Hilfe einer Bewegungskompensation (motion 
compensation) 4 von Bildpunkten des zeitlich zuriickliegenden 
Bildes stj-i(t-2), bei der die Bildpunkte entsprechend ihres 
bereits iibertragenen Bewegungsvektors L*d(t-1) verschoben 
werden. Dabei ist zu beachten, daS die Bewegungsvektoren mit 
dem Faktor L multipliziert werden, da zur Kompensation ein 
Bild in einer urn L erhohten Auf loBiing ' verwendet wird. Im 
Merging -Modul 3 werden die im Bild s^(t-l) markierten Werte 
durch die entsprechenden Werte aus dem Bildsignal ^tri^^" 
1) , welches am Ausgang der Bewegungskompensation 4 
erscheint, ersetzt. Die folgende Gleichung beschreibt den 
Merging- Vorgang, dessen Ergebnis das Bild s^ri (t-1) ist. 
Auch in dieser Gleichung bezeichnen x und y die ortlichen 
Bildkoordinaten. 

^tri (t-l,x,y) = J 5 tri (t-l'^'Y) ' (t-1 , x, y) =m 

/ S3(t-l,x,y), sonst . 

Fig. 5 veranschaulicht die Funktionsweise des Merging- 
Moduls. Die Gleichung sowie die Fig. 5 zeigen, wie die 
beiden Bilder SgCt-l) lond ^tri^t"^) 2:um Bild s^^^iCt-l) 
verschmolzen werden. An den Positionen, wo sich im Bild 
S3(t-1) ein Marker-Wert m befindet, wird der entsprechende 
Bildpunkt aus dem pradizierten Bild i^ri^^"^) verwendet . 
Alle ubrigen Werte aus Bild Sg(t-l) werden im Bild s^ri^t-l) 
ubernommen. Somit werden die Abtastwerte aus dem 
bewegungskompensierten Bild ^tri^^'^) verwendet, um 
Bildpunkte (Marker-Werte) im Bild SQ(t-l) zu interpolieren . 

Die dritte Stufe stellt eine rein ortliche Interpolation 
(spatial interpolation) 5 entsprechend [4] dar, bei der 
ausschliefilich die verbleibenden markierten Werte des Bildes 
stri(t-l) interpoliert werden. Das Ergebnis ist das 
interpolierte Bild s'^(t-l) . 
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Zum Zeitpunkt t = l, fur den kein Bild s^j-±{t-2) existiert, 
wird Bild Stri^^-l) mit Bild Sg(t-l) initialisiert . Die 
markierten Werte in Bild Stri(t-l) werden daraufhin durcti 



einer herkommlichen, rein ortlichen Interpolation. 

Aufgr\ind .der rekursiven Struktur, bei der Bildpunkte aus dem 
zeitlich zuruckliegenden Bild s^-^-i (t-2) benutzt werden, um . 
Bild s^ri (t-1) zu erzeugen, ist eine unbegrenzte 
Verweildauer einzelner Bildpunkte im Bildspeicher 6 (s^ri) 
der fur die Bewegungskompensation benotigt wird, moglich. Um 
zu verhindern, daS Bildpunktinf ormationen zu lange im 
Bildspeicher 6 verbleiben, wird fur jeden Bildpunkt im 
Speicher ein Zahlindex bereitgestellt , der die Verweildauer 
der einzelnen Bildpunktinf ormationen angibt . Mit Hilfe 
dieser Indizeis und eines zu Beginn festgelegten 
Schwellwertes werden Bildpunktinf ormationen, die eine 
gewisse Verweildauer uberschreiten, aus dem Bildspeicher 6 
entfernt. Die typische Verweildauer betragt drei bis sechs 
Bilder. 

Fiir die experimentellen Ergebnisse ist das TRI -Filter in die 
bestehende Software des Verif ikationsmodells [1] integriert 
worden. Dabei werden zwei verschiedene Modi mit 
unterschiedlichen Auf losungen der Bewegiingsvektoren 
unterstutzt. Im ersten Fall werden Bewegungsvektoren mit 
einer Auf losoong von einem halben Bildpunkt und einer 
bilinearen Interpolation verwendet , In diesem Fall wird das 
Ref erenzverf ahren (urspriinglicher Coder) mit MPEG4-hp und 
das Verf ahren mit dem neuen TRI -Filter mit TRI -hp bezeichnet 
(hp = half pel) . Im zweiten Fall werden Bewegungsvektoren 
mit einer Auflosung von einem viertel Bildpunkt und einem 
aliasingreduzierenden Wiener-Filter verwendet. In diesem 
Fall wird das Ref erenzverf ahren mit MPEG4-qp und das neue 



eine ortliche Interpolation rekonstruiert . Dies entspricht 
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Verfahren mit TRI-qp bezeichnet (qp = quater pel) . Fur die 
rein ortliche Interpolation (spatial interpolation) im TRI- 
Filter wird dabei jeweils das entsprechende ortliche 
Interpolationsverf ahren aus den Ref erenz-Codern verwendet . 

Fur die Erzeugung der Ergebnisse ist eine synthetische iind 
eine reale Testsequenz verwendet worden. Die synthetische 
Sequenz wurde durch Abtastung zweier analoger Sinussignale 
erzeugt, wobei die Frequenz des ersten Sinussignal unterhalb 
und die des zweiten oberhalb der halben Abtastf requenz 
liegt . Demzufolge verursacht das zweite Sinussignal Aliasing 
im abgetasteten Bildsignal. Weiterhin ist das analoge 
Bildsignal zwischen auf einanderf olgenden Bildern umexakt 
einen halben Bildpunkt translatorisch verschoben. Diese 
Verschiebung kann durch die verwendeten Coder ohne Fehler . 
geschatzt werden, so daS ein verbleibender Pradiktionsf ehler 
auf eine unzureichende Interpolation zuriickgef uhrt werden 
kann. Diese synthetische Sequenz wird mit Syn Waves 
bezeichnet. Bei der realen Testsequenz handelt es sich um 
die Testsequenz "mobile & calendar" . 

In Fig. 6 sind die Ergebnisse fiir die synthetische Sequenz 
Syn Waves zu sehen. 

Obwohl die Bild-zu-Bild Verschiebung von einem halben 
Bildpunkt von alien Codern korrekt geschatzt werden kann, 
ist der Ref erenzcoder mit den konventionellen 
Interpolationsf iltern nicht in der Lage das Bildsignal 
korrekt zu pradizieren. Demzufolge muiS noch eine erhebliche 
Datenrate fur die Codierung des Pradiktionsf ehlers 
bereitgestellt werden. Selbst der iyiPEG4-qp Coder, der mit 
einem Aliasing-reduzierenden Wiener-Filter arbeitet, kann 
das Bildsignal nur unzureichend pradizieren. Demgegeniiber 
sind die Coder mit dem erf indimgsgemaSen TRI-Filter in der 
Lage, das Bildsignal inklusive Aliasing korrekt zu 
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pradi'Zieren, so daE eine erhebliche niedrigere Datenrate 
erforderlich ist. Der einzig verbleibende Pradiktionsf ehler 
ist im Quant isierungsf ehler begriindet, der im Intraf rame- 
Encoder entsteht. 

In Fig. 7 sind die Ergebnisse fur die reale Testseguenz 
"Mobile and Calandar" zu sehen. Es ist eine signifikante 
Verbesserung bei der Verwendung des TRI -Filters erkennbar . 
Zwischen MPEG4-hp und TRI-hp ist eine Verbesserung von 0,8 
dB zwischen MPEG4-qp und TRI-qp eine Verbesserung von 0,4 dB 
f estzustellen. Der Grund fiir den geringeren Gewinn gegeniiber 
der Testseguenz Syn Waves liegt zum einen darin, daS die 
bewegungskompensierte Pradiktion durch 

Diaplacementschatzf ehler gestort ist. Zum anderen hat das 
Aliasing-Signal keinen so groSen Anteil am Gesamtsignal wie 
bei der synthetischen Seguenz . 

Literaturstellen : 

[1] ISO/IEC 14496-2: "Final Draft International Standard 
of MPEG-4", Atlantic City, October 1998, 
MPEG98/N2502 . 

[2] ISO/IEC/SC29/WG11: "Core Experiment on Motion and 
Aliasing-compensation Prediciton (P8)", Stockholm, 
July 1997, MPEG97/N118 0 

[3] U. Benzler, O. Werner, "Improving raultiresolution 
motion compensating hybrid coding by drift 
reduction". Picture Coding Symposium 1996, March 
1996, Melbourne. 

[4] WO99/04574 Al . 





- 11 - 



R. 



3716(D 



25.10.99 Sk/Mi 



ROBERT BOSCH GMBH, 7 0442 Stuttgart 




15 



20 



25 



30 



Anspriiche 

1. Verfahren zur bewegungskompensierenden Pradiktion von 
Bewegtbildern unter Verwendung einer Interpolation mit 
folgenden Schritten: 

zur Interpolation werden insbesondere neben ortlich 
benachbarten Bildpunkten auch zeitlich zuruckliegende 
Bildpunkte berucksichtigt , 

zeitlich zuruckliegende Bildpiinktinf ormationen (stri(t- 
2)) werden benutzt, um ein bewegungskompensiertes 
Bildsignal (^tri^^*^)) ^"^ erzeugen, wobei diese 
Bildpiinktinf ormationen entsprechend ihres zuvor 
ermittelten Bewegungsvektors verschoben eingesetzt 
werden, 

die Bildpunktinf ormationen des bewegungskompensierten 
Bildsignals {^tri^^"^)) werden in ein 
Interpolationsraster zwischen den Bildpunkten eines 
Ref erenzbildes (s' (t-1) ) eingesetzt. 

2. Verfahren nach Anspruch 1 dadurch gekennzeichnet , daS aus 
dem Referenzbild (s' (t-1)) durch Abtastratenerhohung ein 
Zwischenbild (Sg (t-l) ) erzeugt wird, in welchem 
Zwischenbildpunkte zwischen den Bildpunkten des 

Ref erenzbildes das Interpolationsraster bilden, wobei die 
Zwischenbildpunkte durch Marker-Werte (m) gefiillt werden, 
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und daS die Marker-Werte (m) dort ersetzt warden, wo 
Bildpunktinf ormationen des bewegungskompensierten 
Bildsignals ( s ^ri (t-1) ) existieren. 

3. Verfahren nach Anspruch 2 dadurch gekennzeichnet , daS 
Marker-Werte (m) , die nicht durch Bildpunktinf ormationen 
des bewegungskompensierten Bildsignals ( 5 ^ri '^"^^ ) 
ersetzt wurden .durch ortlich interpolierte Bildpunkte 
ersetzt werden. 

4. Einrichtung zur bewegungskompensierenden Pradiktion von 
Bewegtbildern \mter Verwendung einer Interpolation mit 
folgenden Baugruppen: 

einer Abtastratenerhohung (1) des Ref erenzbildes, 
einer zeitlich rekursiven Bewegungskompensation (4) des 
Ref erenzbildes mit Bildspeicher (2) , 
einem Merging-Modul (3) zur Einfiigung 

bewegungskompensierter Bildpunktinf ormationen in ein 
Interpolationsraster zwischen den Bildpunkten des 
Ref erenzbildes . ' 

5. Einrichtung nach Anspruch . 4, gekennzeichnet durch eine 
Interpolationsstuf e (5) zur ortlichen Interpolation 
solcher Zwischenbildpunkte eines Interpolationsrasters , 
die nicht bereits im Merging-Modul (3) beset zt wurden. 

6. Einrichtung nach Anspruch 4 oder 5, dadurch 
gekennzeichnet, daS der Bildspeicher (6) in der 
Bewegungskompensation (4) zu jedem neu eintref f enden 
Bildpunkt einen Zahlindex bereitstellt und daS ein 
Bildpujikt, dessen Zahlindex einer vorgegebenen 
Verweildauer im Bildspeicher (6) entspricht, aus dem 
Bildspeicher entfernt wird. 




7. Einrichtung nach einem der Anspriiche 1 bis 6, 

gekennzeichnet durch die Verwendung eines zeitlich 
rekursiven Interpolationsf ilterbausteines . 
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10 Verfahren zur bewegunaskompensierenden Pradiktion von 

Bewegtbildern sowie Einrichtuna hierzu 



Zusammenf assung 



15 Zur bewegungskompensierenden Pradiktion von Bewegtbildern 

werden zur Interpolation eines Pradiktionsbildes erhdhter 
Auflosung neben ortlich benachbarten Bildpunkten auch 
ze i 1 1 i ch zuruckl i egende Bi Idpunkt inf ormat ionen 
berucksichtigt . 



Im Pradiktionsbild erhohter Auflosung werden 
bewegungskompensierte Bildpunktinf ormationen in das 
Interpolationsraster zwischen den Abtastwerten des 
Ref erenzbildes (s'(t-l)) eingesetzt. 
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